Огонь огнем не погасишь

By retaliating you only aggravate the situation. See Злом зла не поправишь (3)

Cf: Add not fire to fire (Br.). Two wrongs do not make a right (Am., Br.)